图像标题生成是视觉和语言域交集中最具挑战性的问题之一。在这项工作中,我们提出了一个现实的字幕任务,其中输入场景可能包含没有相应的视觉或文本培训示例的视觉对象。对于此问题,我们提出了一种检测驱动的方法,该方法由单阶段的广义零弹声检测模型组成,以识别和本地化可见和看不见的类的实例,以及将检测转换为句子的基于模板的字幕模型。为了改善广泛的零射击检测模型,该模型为字幕提供了必不可少的信息,我们在班级到类的语义相似性方面定义了有效的课堂表示,并利用其特殊结构来构建有效的看不见/可见的类置信度得分校准机制。我们还提出了一个新颖的评估指标,该指标通过分别测量生成句子的视觉和非视觉内容来为字幕输出提供其他见解。我们的实验强调了在提出的零射击设置中研究字幕的重要性,并验证提出的检测驱动的零射击字幕方法的有效性。
translated by 谷歌翻译